Der Umzug der Inferenz ins eigene Rechenzentrum löst ein Datenschutzproblem und erzeugt ein Betriebsproblem. Prompts, Kontextdaten und Antworten verlassen das Haus nicht mehr, dafür betreibt die IT jetzt selbst einen Dienst. Der lädt Modelldateien, nimmt Anfragen an, bedient mehrere Mandanten auf derselben Grafikkarte und speichert Modellgewichte, die nach dem Feintunen eigene Prozessdaten enthalten, auf einem Dateisystem.